Repository navigation
feat(explore): ground work choices in paired goal outcomes - #8250
huangruiteng merged 1 commit into
Conversation
Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
huangruiteng
left a comment
huangruiteng
left a comment
There was a problem hiding this comment.
Reviewer: model_agent; gpt-6-astra; OpenAI; runtime_reported; reasoning_effort=xhigh.
Approval conclusion (author-owned PR; GitHub blocks formal self-approval)
未发现阻塞问题。资格限于当前可选候选比较切片，不能据此宣称真实模型或整题收益。
动机 / Motivation
使用已启用 Yardstick 的普通工作回合和周期复盘的 Agent。 原来已记录的目标分和局部代理分需要模型自行重组；现在同范围的两个候选直接给出观察排序，代理只在同一候选对上参与比较。 已验证普通回合能读取比较、执行不同的组合候选、写回实际产物，再由周期复盘读到同一证据。 不认证科学显著性，不自动执行评测，不强制切换路线，也不要求最终保留最高分候选。 确定性执行者证明通路与归因；真实模型是否采用、整题效果和完整成本仍由后续匹配试验验证。
改动思路 / Approach
派生比较复用已有测量和当前工作绑定，既不增加持久化记录，也不增加调度或准入 owner。 本 PR 只交付已有可选 Yardstick 的普通输入及周期复盘中的候选比较，不验收 M2/M3 或默认推广。 普通回合与周期复盘复用同一入口，先看当前工作绑定，再复用现有测量分组。比较只使用同节点、指标、方向、输入、评测版本和比较条件的数据。更便宜的单句全局提示不能提供这些约束；再建候选日志或自动评测器又会增加不必要的状态和权限。因此在已有 owner 上派生两项短字段较合适。原来的行动理由仍完整显示，细节由现有 result-node 入口读取。
具体改动 / Changes
审查精确 head 10bd0effa855e0e3fc408e355342c7ed26f92af3，实际目标为 r36 d0a9311e6779e75aa787804f6d625cb6db16a60d，公共祖先 582a57467c32d5f9264894f3af27f5faa7db74b4。这三个相关语义 owner 在公共祖先和目标间 blob 未变。全差异5文件、+248/−22：生产2文件+70/−17，测试2文件+164/−5，文档1文件+14。规格为 docs/architecture/rfcs/target-yardstick-stride-decisions-v0.md，spec_revision=582a57467c32d5f9264894f3af27f5faa7db74b4；已读候选修改前的规范与 M1 checkpoint。
C1 保留无额外工作事件，C9 实际进入原 periodic review 而不消除其义务，C12 关闭后保留原历史及输出；M1 的同 owner、可选普通输入已经验证。C13 的自然采用仍未完成；M2/M3 数值可信度及整题效果/完整成本留给既有后续试验。观察排序不是噪声已消除或代理已校准的证明。
关键代码讲解
- measuredSearchComparison 按相同工作中的两个候选组装目标排序；代理只有候选对完全相同时才参与。目标平分返回空偏好，缺测、重复候选和不匹配条件不生成推断。比较的是已有观察，不修改 acceptance。
- projectExploreTurnContext 保留原
cue，只增加可选的比较说明和候选引用。详细记录、原理由和后继实际执行仍由原 reader 与 writeback 提供，没有新增确认回合或必填表单。
对主干的风险 / Risks
最强风险是把共享节点上其他工作的高分或不匹配代理变成当前任务建议。当前按 Goal/Agent/Todo、finding 和节点限定；同一候选重复测试不伪装成候选对，方向不同按各自指标处理。未知证据只省略建议，不意味着没有更好结果。完整同工作候选对仍由声明者负责真实可比性，控制层不认证科学结论。
独立源码运行：实际 SQLite 普通工作、已执行编码产物与摘要、周期 Stride 回读共5项通过；typed Yardstick7项、measurement15项通过，包含修正历史、分页/显示限制、零/负数/null及跨条件拒绝。作者同一数据库的真实首读对照已核读：关闭有历史17,395字节、开启无配对14,765字节均逐字相同；有配对增加387字节，仅两字段，其他 JSON 语义保留。没有将字节变化当成模型 token 或收益。旧有效 baseline 在真实读取新比较字段时失败，早先不合法 fixture 的失败未用于这个论证。独立 quick premerge 已通过：4项直接检查、Python 编译、3项选中 canary 和公共边界检查；RFC/diff 对实际 PR base 通过。
语义与 CI 对齐
复用已有 typed profile 和 finding 词汇，新增的是派生展示字段，不是新协议、枚举或第二份持久化数据。行为文字有意增加成本和机制比较，保留原理由、继续工作、停止、授权和结算约束。功能关闭时实际输出相同；没有查询或等待远端 CI。C1 通用 transport 的整合属于父分支验证，不冒充本小片独立覆盖全部 C1。
我的整体评价 / Verdict
long_horizon=improved 只指已有证据能够抵达下一次有用工作与周期复盘；user_experience=improved 指无需额外人工步骤或重复记录。派生比较复用已有测量和当前工作绑定，既不增加持久化记录，也不增加调度或准入 owner。 本 PR 只交付已有可选 Yardstick 的普通输入及周期复盘中的候选比较，不验收 M2/M3 或默认推广。 已检查 explore turn-context 与现有 Research finding 读取路径；本差异没有页面布局或控件变更，无需截图。 真实模型采用和已安装应用未验证。原生分数提升、额外提示的完整成本及通用数值 fidelity 仍开放，不继承旧实验的优势，也不要求最终工作区留在最好候选上。
English verdict: APPROVE — 10bd0ef; the scoped optional comparison reaches ordinary and periodic work while preserving original reasons, off behavior and authority. Natural adoption and full-cost task benefit remain unqualified.
loopx-agent
left a comment
loopx-agent
left a comment
There was a problem hiding this comment.
Reviewer: model_agent; gpt-6-astra; OpenAI; runtime_reported; reasoning_effort=xhigh.
Approval conclusion (author-owned PR; GitHub blocks formal self-approval)
未发现阻塞问题。资格限于当前可选候选比较切片，不能据此宣称真实模型或整题收益。
动机 / Motivation
使用已启用 Yardstick 的普通工作回合和周期复盘的 Agent。 原来已记录的目标分和局部代理分需要模型自行重组；现在同范围的两个候选直接给出观察排序，代理只在同一候选对上参与比较。 已验证普通回合能读取比较、执行不同的组合候选、写回实际产物，再由周期复盘读到同一证据。 不认证科学显著性，不自动执行评测，不强制切换路线，也不要求最终保留最高分候选。 确定性执行者证明通路与归因；真实模型是否采用、整题效果和完整成本仍由后续匹配试验验证。
改动思路 / Approach
派生比较复用已有测量和当前工作绑定，既不增加持久化记录，也不增加调度或准入 owner。 本 PR 只交付已有可选 Yardstick 的普通输入及周期复盘中的候选比较，不验收 M2/M3 或默认推广。 普通回合与周期复盘复用同一入口，先看当前工作绑定，再复用现有测量分组。比较只使用同节点、指标、方向、输入、评测版本和比较条件的数据。更便宜的单句全局提示不能提供这些约束；再建候选日志或自动评测器又会增加不必要的状态和权限。因此在已有 owner 上派生两项短字段较合适。原来的行动理由仍完整显示，细节由现有 result-node 入口读取。
具体改动 / Changes
审查精确 head 10bd0effa855e0e3fc408e355342c7ed26f92af3，实际目标为 r36 d0a9311e6779e75aa787804f6d625cb6db16a60d，公共祖先 582a57467c32d5f9264894f3af27f5faa7db74b4。这三个相关语义 owner 在公共祖先和目标间 blob 未变。全差异5文件、+248/−22：生产2文件+70/−17，测试2文件+164/−5，文档1文件+14。规格为 docs/architecture/rfcs/target-yardstick-stride-decisions-v0.md，spec_revision=582a57467c32d5f9264894f3af27f5faa7db74b4；已读候选修改前的规范与 M1 checkpoint。
C1 保留无额外工作事件，C9 实际进入原 periodic review 而不消除其义务，C12 关闭后保留原历史及输出；M1 的同 owner、可选普通输入已经验证。C13 的自然采用仍未完成；M2/M3 数值可信度及整题效果/完整成本留给既有后续试验。观察排序不是噪声已消除或代理已校准的证明。
关键代码讲解
- measuredSearchComparison 按相同工作中的两个候选组装目标排序；代理只有候选对完全相同时才参与。目标平分返回空偏好，缺测、重复候选和不匹配条件不生成推断。比较的是已有观察，不修改 acceptance。
- projectExploreTurnContext 保留原
cue，只增加可选的比较说明和候选引用。详细记录、原理由和后继实际执行仍由原 reader 与 writeback 提供，没有新增确认回合或必填表单。
对主干的风险 / Risks
最强风险是把共享节点上其他工作的高分或不匹配代理变成当前任务建议。当前按 Goal/Agent/Todo、finding 和节点限定；同一候选重复测试不伪装成候选对，方向不同按各自指标处理。未知证据只省略建议，不意味着没有更好结果。完整同工作候选对仍由声明者负责真实可比性，控制层不认证科学结论。
独立源码运行：实际 SQLite 普通工作、已执行编码产物与摘要、周期 Stride 回读共5项通过；typed Yardstick7项、measurement15项通过，包含修正历史、分页/显示限制、零/负数/null及跨条件拒绝。作者同一数据库的真实首读对照已核读：关闭有历史17,395字节、开启无配对14,765字节均逐字相同；有配对增加387字节，仅两字段，其他 JSON 语义保留。没有将字节变化当成模型 token 或收益。旧有效 baseline 在真实读取新比较字段时失败，早先不合法 fixture 的失败未用于这个论证。独立 quick premerge 已通过：4项直接检查、Python 编译、3项选中 canary 和公共边界检查；RFC/diff 对实际 PR base 通过。
语义与 CI 对齐
复用已有 typed profile 和 finding 词汇，新增的是派生展示字段，不是新协议、枚举或第二份持久化数据。行为文字有意增加成本和机制比较，保留原理由、继续工作、停止、授权和结算约束。功能关闭时实际输出相同；没有查询或等待远端 CI。C1 通用 transport 的整合属于父分支验证，不冒充本小片独立覆盖全部 C1。
我的整体评价 / Verdict
long_horizon=improved 只指已有证据能够抵达下一次有用工作与周期复盘；user_experience=improved 指无需额外人工步骤或重复记录。派生比较复用已有测量和当前工作绑定，既不增加持久化记录，也不增加调度或准入 owner。 本 PR 只交付已有可选 Yardstick 的普通输入及周期复盘中的候选比较，不验收 M2/M3 或默认推广。 已检查 explore turn-context 与现有 Research finding 读取路径；本差异没有页面布局或控件变更，无需截图。 真实模型采用和已安装应用未验证。原生分数提升、额外提示的完整成本及通用数值 fidelity 仍开放，不继承旧实验的优势，也不要求最终工作区留在最好候选上。
English verdict: APPROVE — 10bd0ef; the scoped optional comparison reaches ordinary and periodic work while preserving original reasons, off behavior and authority. Natural adoption and full-cost task benefit remain unqualified.
1930ffe
into
codex/edgebench-r36-aggressive-20261107
Outcome
Use existing goal measurements to choose what to try next when two different candidates have been observed on the same declared profile and linked work item. Show the observed goal ordering and an exact paired proxy comparison when available. Keep the author's recorded next action and reason visible alongside the comparison.
The work context now gives the agent a concrete choice between improving the current route, trying a different mechanism, or combining compatible changes. It asks for an end-to-end gain and full implementation and validation cost comparison when choosing a bounded check. An observed comparator can serve as a reference for the next check. The guidance is advisory and leaves the final candidate choice with the agent.
This extends the existing opt-in Work Yardstick and paired-measurement owners on the integration base. The ordinary and periodic Stride readers consume the same derived context. There is no new stored record or additional per-turn input.
Validation
The integration base supplies the existing opt-in Yardstick and paired-measurement contract. This proposal has no published effectiveness measurement.